Selepas kewafatan Saidina Abu Bakar, Abu Ubaidah menjadi panglima besar bagi menggantikan Khalid bin al-Walid untuk menjadi panglima perang di Syria. Beliau berjasa besar dalam peperangan antara tentera Islam dengan tentera Rom Byzantine dalam siri Peperangan Islam-Rom Byzantine. Khalifah Umar mengkehendaki beliau sebagai calon khalifah selepasnya (Umar), namun beliau meninggal dunia terlebih dahulu akibat suatu wabak pada 640 M.